SmartGR: Hierarchy and Beam-Aware Knowledge Distillation for Generative Recommendation
SmartGR：面向生成式推荐的层次与束搜索感知知识蒸馏
🧭 生成式推荐 · 层次与束搜索感知蒸馏 ★ 深度解读
Zhejiang University · Ant Group
提出层次感知SID蒸馏与束感知排序蒸馏，解决生成式推荐中蒸馏难度不均衡和束搜索前缀误剪枝问题。
📌 工作参考价值（4 点）
- 层次感知蒸馏权重：不要在所有SID层级上均匀施加蒸馏损失；引入可学习的单调递增权重（如tanh），根据教师在不同深度的增益自动调整蒸馏强度，解决层次间难度不均衡问题。
- 束感知排序损失：仅对齐每步条件分布无法防止前缀误剪枝；使用教师缓存的 beam 结果构造正负 beam 对，让学生直接模仿教师的累积前缀评分偏好，在训练中显式优化束搜索排序。
- 离线缓存 + 最长前缀选择：离线缓存教师 top-k token 分布与 beam 序列，蒸馏时选择与目标 SID 最长公共前缀的 beam 作为监督，避免不相关信号引入噪声；同时保留硬监督损失，维持基础生成能力。
- 即插即用的蒸馏方案：不修改学生模型结构，只增加 SID Loss 和 BEAM Loss 两个损失项，即可将 1.7B 模型性能提升 8.6%，推理速度比 8B 教师模型快 2.39 倍，适合在广告/电商等实时推理要求高的场景直接落地。